from openai import OpenAI 
 
"""
本地vLLM服务器的OpenAI兼容端点，用于与OpenAI Python客户端库进行交互。

这里是代码指定选择模型是千问模型   "/gemini/pretrain/Qwen2.5-0.5B-Instruct"
同时用的是文本续写，或者说是文本补全
"""


# 配置本地vLLM服务器 
client = OpenAI(
    base_url="http://localhost:8000/v1",  # vLLM的OpenAI兼容端点 
    api_key="no-api-key-required"  # 本地部署无需真实API密钥 
)

# 文本续写测试 
def test_completion():
    response = client.completions.create( 
        model="/gemini/pretrain/Qwen2.5-0.5B-Instruct",
        prompt="人工智能是指",
        max_tokens=20,
        temperature=0.7 
    )
    print("续写结果:", response.choices[0].text) 
 
test_completion()